DAY13 過度訓練 torch.nn

2023 iThome 鐵人賽

DAY 13

AI & Data

深度學習概念和應用（PyTorch）系列第 13 篇

15th鐵人賽

hlareinay

2023-09-28 14:15:30

325 瀏覽

分享至

什麼時候會出現過度訓練（overfitting）？

訓練資料過小
單一資料集訓練過久
模型過於複雜
雜訊過多

解決方式：

增加資料搜集
減少神經網路層數
減少參數或特徵
正規化或丟棄層

什麼時候會出現缺乏訓練（underfitting）？

訓練時長不足
模型複雜度不夠

解決方式：

增加資料搜集
增加迭代次數

torch.nn

在這其中的nn是表示neural network，所以可以知道是在PyTorch為神經網路開發而設計的稱為torch.nn，這之中包含了建立神經網路架構所需的單元，這些單元叫做模組（modules），在其他的框架中通常稱作層（layer）。PyTorch模組都繼承了nn.Module的Python類別，能以屬性的方式接受參數張量。
其中的nn.functional，包含建構神經網路會用到的函數，包括卷基層、池化層、損失函數、激活函數等等。
還有nn.linear…